Действительно, дом такой-то на улице такой-то - нормативный и стилистически нейтральный вариант. Это грамотное, правильное сочетание. Сочетание "дом по улице" - канцеляризм.
Стилистически нейтрально: идти по улице; дом, расположенный на улице...; жительница дома, расположенного на улице... Вариант дом по улице – канцеляризм.
Корректно: дом на Пролетарской улице.